Настройка/Траблшутинг kafka (Бюджет: 5000 руб)

Дата публикации: 28.10.2024 12:51:16
Бюджет: 5000 руб
Т.З.    Дано:     SQL разработчик/Администратор баз данных 1шт. Есть установленная kafka(confluent) и установленные коннекторы: Debezium sqlserver (source) ---> Clickhouse sink connector (sink). Схема для передачи avro. Key converter avro confluent. Поднят control center c метриками    Проблема: При попытке передать данные из таблицы SQL server в таблицу clickhouse при помощи snapshot(для начала) возможны две ситуации:          1) Если указана таблица clickhouse с Nullable полями, в неё попадают полностью пустые строки, данных нет       2) Если указана таблица clickhouse без nullable полей (как в схеме источника) ошибка со стороны kafka connect: Table collumn not found коннектор падает с ошибкой В итоге данных нет, kafka не работает Что пробовал:    1) Изменять схему avro отличную от той, что автоматически определил Debezium.    2) Сообщения поступающие в топик SQL server читал поступают корректно, как прописано в DDL исходной таблицы    3) Исключить из этого уравнения connector и забирать данные прямо из kafka при помощи движка kafka (неуспешно, данные не появляются ни в каком случае из DDL модификаций)    4) Пробовал jdbc дравейвером, ругается warn про совместимость, падает с ошибкой: "не могу использовать транзакции"     Требуется:    1) Сделать так, чтобы данные перемещались из MSSQL в clickhouse, желательно коннектором. Критично, чтобы при помощи схемы(мне нужна возможность изменять схему данных)    2) Написать документацию уровня "понятно другому исполнителю" и 1 раз показать мне. (По русски: показать где я ошибся и написать как не допускать эту ошибку впредь) ______________________ Работа через платформу/по договору подряда никак иначе. Если у Вас есть предложения сначала Вы демонстрируете(посредством видеосвязи) что способны выполнить задачу и действительно компетентны и только потом я их принимаю.
Источник: www.fl.ru
Число просмотров: 3

Еще проекты:

Перестал работать Advanced Custom Fields PRO на Wordpress (Бюджет: 2 000 — 3 000 руб/час)

Advanced Custom Fields PRO плагин работал с 2020 года, все было хорошо. Сегодня вносили правки на сайт и плагин отключился и стал просить лицензионный ключ, которого не было на моей памяти. Напишите пожалуйста кто может это пофиксить и сколько будет стоить?

Настроить яндекс трекер (Бюджет: 5000 руб)

Объяснить нам как пользоваться, сделать удобную систему контроля для нашей компании.  Настроить доску под наши задачи, отделы и специалистов.  Выполнение задачи возможно в несколько этапов.  1. Настроить доску под айти отдел (возможно перенести ее из ноушена) 2. После того, как мы начнем по ней работать, внесем правки и утвердим этот формат, настроить по такому же принципу другие отделы

Починить ВМ в сообществе ВК (Бюджет: 1500 руб/час)

Моё сообщество подключено к ВМ, но доход = 0 копеек Видео (более минуты) выходят уже больше месяца и за всё это время видео не набрали ни одной копейки Я пробовал эксперементировать и менять акценты, длинну, качество видео, но всё ещё ни единой копейки за всё это время. Я сам открыл видео, штук 10, но ни в одном не было рекламы. В другом сообществе, тоже женском, открываю похожие видео есть реклама. Я бы понял, если бы там было мало (рубль там или даже меньше), но сейчас там круглый 0, ...

Доработка 1С УТ 10.3 (интеграция корректировочной счёт фактуры)

1С Предприятие 8.3. Управление торговлей 10.3 (10.3.70.2). Сервер в облаке Scloud - сервисе удаленной работы в 1С.

На данный... цена договорная

Дизайн Авито магазина

шапки профиля на авито , дизайн макетов Бюджет: 4000 руб